Vào thời nhà Minh, Bát Bảo Sơn là nơi đặt miếu thờ Cương Bỉnh, một người lính có hành động anh hùng thời Minh Thành Tổ. Sau đó ngôi miếu này trở thành một đền thờ Đạo giáo và là nơi ở của các hoạn quan nghỉ hưu, phần đất xung quanh đền cũng được dùng để chôn cất các thái giám và cung phi của Tử Cấm Thành. Sau khi Bát Bảo Sơn trở thành nghĩa trang cách mạng, ngôi đền thờ Đạo giáo này được chuyển thành nơi thờ nói chung và được đổi tên thành Bảo trung hộ quốc từ (褒忠护国祠). Tháng 8 năm 1951, trên phần đất Bát Bảo Sơn, chính quyền thành phố Bắc Kinh ra quyết định thành lập Nghĩa trang liệt sĩ cách mạng, sau đó được đổi tên thành Nghĩa trang cách mạng Bát Bảo Sơn theo quyết định số 270 ra ngày 20 tháng 12 năm 1951.

Theo khoản 3 của quyết định số 270, nghĩa trang Bát Bảo Sơn được chia thành ba khu vực chôn cất dựa theo cấp bậc và chức vụ của người được chôn cất. Khu vực 1 gồm một nửa phần đất phía trước và phần đất phía đông của ngôi đền được dành cho các quan chức cấp huyện hoặc sĩ quan cấp sư đoàn, các ngôi mộ trong khu vực này có kích thước không được vượt quá 4m x 2m. Phần đất phía Tây ngôi đền thuộc khu vực 2 của nghĩa trang, đây là nơi chôn cất các quan chức cấp tỉnh hoặc sĩ quan cấp quân đoàn, kích thước tối đa của các ngôi mộ khu vực này là 7m x 7m. Khu đất phía bắc của ngôi đền là khu vực 3, nơi chôn cất các lãnh đạo của Đảng Cộng sản Trung Quốc, Giải phóng quân Trung Quốc, nhà nước Cộng hòa Nhân dân Trung Hoa hoặc người có công trạng đặc biệt với cách mạng.

Ban đầu nghĩa trang Bát Bảo Sơn không có nhà táng cố định, chỉ sau đám tang của nguyên soái Trần Nghị, người ta mới khắc phục sự bất tiện này bằng cách xây dựng một nhà táng cho Bát Bảo Sơn. Tới năm 1984, nhà thiêu của nghĩa trang cũng được hiện đại hóa.